Nhiệm vụ hoàn thành! Bạn đã thành thạo các khối cơ bản của ngôn ngữ trí tuệ nhân tạo!Chưa đúng lắm! Hãy cùng thử xây lại dãy ký tự này nào!Tri thức đã được cập nhật: Chia tách từ và Dãy ký tự ... Có phải là ... ? ... Hay là ...
Chúng ta gọi những mảnh nhỏ bé mà AI dùng để đọc là gì?
Đúng vậy! Các token là những đơn vị nhỏ như "apple", "ing" hay "?" tạo nên ngôn ngữ cho AI.
Máy tính biểu diễn một token như thế nào để nó có thể hiểu được?
Đúng rồi! Máy tính chỉ hiểu số, vì vậy mỗi token đều có một số nhận diện riêng biệt.
Nếu chúng ta có các token cho "friend" và "ship", thì từ "friendship" được gọi là gì khi nó trở thành một danh sách các con số?
Chính xác! Một danh sách các số token theo thứ tự được gọi là một dãy.
Tại sao thứ tự các token trong một dãy lại quan trọng đến vậy?
Chính xác! Cùng một tập các token nhưng theo thứ tự khác nhau có thể làm thay đổi hoàn toàn ý nghĩa của một câu.
Giới hạn về số lượng token mà AI có thể xử lý cùng lúc là bao nhiêu?
Bạn đúng rồi! Cửa sổ ngữ cảnh là ranh giới về lượng thông tin mà AI có thể "ghi nhớ" trong suốt một cuộc trò chuyện.
Một dấu chấm câu đơn lẻ, như dấu chấm (.), có thể là một token không?
Đúng vậy! Các token có thể là từ hoàn chỉnh, phần của từ hoặc thậm chí là dấu chấm câu. Mọi thứ đều là một khối xây dựng!
1
Chia tách từ và Dãy ký tự
EvoClass-AI004Lecture 4
0
🤖 Beep Boop! Chào mừng bạn, thiếu tá! Chọn một chủ đề phụ bên dưới để xem cách AI "đọc" thông qua việc chia tách từ.
Lệnh từ Py-BotTRỰC TIẾP
Beep Boop!Xin chào, thiếu tá! Để dạy AI đọc, trước tiên chúng ta phải cắt các từ thành những mảnh nhỏ giống như các viên gạch Lego. Bạn đã sẵn sàng học cách máy tính biến các từ thành số chưa?
Tiến độ chủ đề0%
Lựa chọn tuyệt vời! Một token giống như một viên gạch Lego. Những từ như "friendship" sẽ được chia thành các phần nhỏ hơn như "friend" và "ship". Ngay cả một dấu chấm đơn giản cũng là một token! Với AI, những mảnh này dễ xử lý hơn so với cả một câu dài.
1
Chủ đề phụ 1
Token là gì?
Cắt văn bản thành những khối nhỏ như "friend" và "ship".
Nhìn vào đây! Khi chúng ta đã có các token, AI sẽ gán cho mỗi token một số ID bí mật. Những số này tạo thành một "dãy". Nhớ nhé: thứ tự rất quan trọng! Câu "The dog bit the man" và "The man bit the dog" dùng cùng một khối, nhưng thứ tự lại kể một câu chuyện hoàn toàn khác nhau!
2
Chủ đề phụ 2
Sức mạnh của các dãy
Biến các khối thành một danh sách toán học mà thứ tự là điều quan trọng nhất.
Bạn có biết không? AI có một "Cửa sổ ngữ cảnh", giống như kích thước bàn tay của nó. Nó chỉ có thể giữ một số lượng token nhất định trong "bộ não" của mình cùng lúc trước khi bắt đầu quên phần đầu tiên!
Bạn có biết không?
AI có một "Cửa sổ ngữ cảnh", giống như kích thước bàn tay của nó. Nó chỉ có thể giữ một số lượng token nhất định trong "bộ não" của mình cùng lúc trước khi bắt đầu quên phần đầu tiên!
Đang tải...
⭐⭐⭐

Nhiệm vụ hoàn thành!

Bạn là bậc thầy về token!